LLM-Based Generative Retrieval for Snapchat Content Recommendation
LLM生成式检索在Snapchat短视频推荐中的工业级落地
🧭 生成式推荐 · 语义 ID 与 LLM 工程落地 ★ 深度解读
Snap, Inc.
首次部署 LLM 生成式检索：多模态 PPR 行为 SID + 两阶段词汇接地 + 推理优化，线上观看时长提升 0.37%
📌 工作参考价值（4 点）
- SID 构建加入 PPR 共现对比损失：用 Pagerank 从用户-视频二部图挑选高质量正样本对，做对比学习，可显著缓解码本碰撞、注入协同信号，视频 ID 唯一率从 16.8% 提升至 32.1%。电商推荐中可以用商品共购图或用户行为图生成类似正样本对，改善语义 ID 的区分度。
- 两阶段 LLM 训练（CPT+SFT）：先用视频描述做 SID 到文本的生成任务，冻住 LLM 只训练新加入的 SID embedding，使新 token 与模型的语义空间对齐；再在用户交互序列上全量 SFT。CPT 可稳定提供额外 0.8%~1.2% 的 Recall/Pass@k 提升，且成本低（一次性训练），值得在引入新 ID 体系时复用。
- 高吞吐推理的工程组合：TensorRT-LLM CUDA 原生 beam search 替换 Python 实现，结合分布式 worker-loop 架构和异步 IO，实现 45.7 倍吞吐提升。对于需要大 beam 宽度的生成式推荐推理，这套组合可直接迁移。训练侧用动态序列打包 + FlashAttention-2 变长支持 + torch.compile 获得 3.6 倍训练提速，同样适用于短序列用户行为训练。
- 架构选择启示：相同参数量下，decoder-only LLM（Qwen3）比 T5 encoder-decoder 在 SID 检索 Pass@32 上高出约 1.5 倍，且缩放至 600M 仍保持显著优势，说明生成式检索应优先选用 decoder-only 预训练架构。